Система 1 vs Система 2
Масштабирование на этапе вывода (Inference-Time Scaling) и цепочки мыслей
Тестовая задача (Промт):
"У фермера было 15 овец. Все, кроме 8, убежали. Сколько овец осталось у фермера?"
Вычислительный бюджет Системы 2 (Время на размышление)
Высокий (Полная цепочка)
Низкий (Оборвать рано)
Средний
Высокий (Aha-moment)
Запустить инференс 🚀
Обычная LLM (Система 1)
Авторегрессионная генерация
Reasoning LLM (Система 2)
Chain of Thought + RL
Мышление (генерация скрытых токенов)...